11. Inferencia en Estadística Paramétrica

11.1. Repaso (piezas del puzzle hoy)

1. ¿Qué es una distribución?

2. ¿Cómo calcular la probabilidad dado una distribución?

3. ¿Cómo calcular la probabilidad dado una distribución normal?

4. ¿Cómo caracterizar una distribución? ¿Cómo entiende ellos?

5. ¿Cómo convierte una normal a una normal estándar, y calcular la probabilidad?

• E[X], Var(X) ==> E[aX], Var(aX)

6. ¿Qué es el pensamiento probabilístico?

• (Ejemplo) ¿Cómo cuantificar que tan lejos está X de 60? ¿Cuál es la distribución asumida de X?

7. ¿Qué es el pensamiento estadístico?

• Estadística descriptiva

• Estadística inferencial (¿Qué tarea hemos visto?)

8. ¿Qué es un estadístico (muestral)? ¿Qué es un estimador? Ejemplos?

9. ¿Qué es una distribución muestral? ¿Qué es una distribución muestral de la media muestral?

Si la v.a. sigue una distribución normal, qué distribución puede seguir su media muestral?

11.2. Teo de Fisher-Cochran (dist. media y varianza muestral del caso Normal)

Teorema de Fisher-Cochran

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) entonces la media y varianza muestral cumplen:

\(\begin{equation} \begin{array}{lcll} (i) & \bar{X} &\sim& {\cal N}(\mu, \frac{\sigma^2}{n})\\ \\ (ii) & {\displaystyle \frac{(n-1)S^2}{\sigma^2}}& \sim& \chi_{n-1}^2 \\ \\ (iii)& \bar{X} &{\mathrel \perp} & S^2 \quad \text{(independentes)}\\ \end{array} \end{equation}\)

Sólo nos centraremos en la primera propiedad de esta clase!

Nota

Para la primera propiedad, se utiliza el Teorema Fundamental Distribuciones Normales (la combinación lineal de v.a. independientes Normales es Normal):

Sean \(X_1,\cdots,X_n\) v.a. independientes con \(X_i \sim {\cal N}(\mu_i,\sigma_i^2)\), entonces la combinación lineal \(Y = \sum\limits_{i=1}^n c_i X_i\) es Normal con \(Y \sim \cal N(\sum\limits_{i=1}^n c_i \mu_i, \sum\limits_{i=1}^n c_i^2 \sigma_i^2)\)

¿Cómo tranformarlo para que tengamos un estadístico que siga una normal estándar \(\cal N\)(0,1)?

Ahora, apendamos otras distribuciones comunes para los estatísticos!

11.3. Distribuciones de estadísticos muestrales

11.3.1. La distribución chi-cuadrado

Sean \(Z_1,\cdots, Z_k\), v.a. i.i.d. \(\sim \cal{N}\)(0,1) entonces se define una v.a. o un estadístico (muestral):

\[ Y = Z_1^2+\cdots+Z_k^2 \sim \chi_{k}^2\]

donde \(k\) son los grados de libertad de la distribución, y es un entero positivo.

La función de densidad de probabilidad de una chi-cuadrado cumple:

\[\begin{split}\begin{equation} \begin{array}{ll} f(x;k) = \left\{\begin{array}{ll} {\frac{1}{2^{k/2}\Gamma(k/2)}}x^{(k/2)-1}e^{-x/2} & x\, \geq 0\\ 0 & x\, <0\\ \end{array} \right .\\ \end{array} \end{equation}\end{split}\]

con función gamma:

\[\Gamma(\alpha) = \int_0^{\infty} x^{\alpha-1} e^{-x}dx\]

Además

\[\begin{split} E[X]= k \\ Var[X]= 2k \\ \end{split}\]

vec <- seq(0,100,by=0.1)
params <- c(1:5, seq(10, 100, by=10)) 
pvec <- list()
for (i in 1:length(params)){
    pvec[[i]] <- dchisq(vec,df=params[i],ncp=0)
}
steps <- list()
fig <- plot_ly(width=600,height=600) %>% layout(title = "\n \n Densidad de Probabilidad Chi-cuadrado", yaxis = list(range=c(0,0.3)))
for (i in 1:length(params)){
    fig <- add_lines(fig, x=vec, y=pvec[[i]], visible=if (i==1) TRUE else FALSE, mode='lines', line=list(color='blue'), showlegend=FALSE)
    steps[[i]] = list(args = list('visible', rep(FALSE, length(params))), label=params[i], method='restyle')
    steps[[i]]$args[[2]][i] = TRUE
}
fig <- fig %>% layout(sliders = list(list(active=0, currentvalue = list(prefix = "df: "), steps=steps)))
fig

Propiedad de suma de v.a. chi-cuadrado independientes

Sean \(X\) e \( Y\) dos v.a. independientes con \(X \sim \chi^2_{n}\) e \(Y \sim \chi^2_{m}\) entonces se cumple: \( X+Y \sim \chi^2_{n+m}\)

11.3.2. La distribución t (t-student)

Sean \(Z \sim {\cal N}(0,1)\) y \(X \sim \chi^2_{n}\) y son independientes, se define la v.a o estadístico (muestral):

\[T = \frac{Z}{\sqrt{\frac{X}{n}}} \sim {\cal t}_{n}\]

que sigue una distribución t de n grados de libertad. Cuando n es grande, \(T\) tiene aproximadamente una distribución de Z (por ley débil de los grandes números).

Su función de densidad de probabilidad es:

\[ f(x) = f(t) = \frac{\Gamma(\frac{n+1}{2})} {\sqrt{n\pi}\,\Gamma(\frac{n}{2})} \left(1+\frac{t^2}{n} \right)^{\!-\frac{n+1}{2}},\! \]

y la media y varianza:

\(\begin{equation} \begin{array}{lll} E[X] &= &0\\ Var(X)& =& \dfrac{n}{n-2}\\ \end{array} \end{equation}\)

La varianza esta definida para valores de \(n \gt 2\).

set.seed(1)
vec <- seq(-5,5,by=0.05)
params <- seq(1,30,by=1)
pvec <- list()
for (i in 1:length(params)){
    pvec[[i]] <- dt(vec, df=params[i])
}
pvec_Z <- dnorm(vec)

steps <- list()
fig <- plot_ly(width=600,height=600) %>% 
       layout(title = "\n \n Densidad de Probabilidad t", yaxis=list(range=c(0,0.45))) %>%
       add_lines(x=vec, y=pvec_Z, visible=TRUE, mode='lines', line=list(color='blue'), showlegend=TRUE, name="Z") 
for (i in 1:length(params)){
    fig <- add_lines(fig, x=vec, y=pvec[[i]], visible=ifelse(i==1, TRUE, FALSE), mode='lines', line=list(color='red'), showlegend=TRUE, name="T")
    steps[[i]] = list(args=list('visible', rep(FALSE, length(params)+1)), label=params[i], method='restyle')
    steps[[i]]$args[[2]][1] = TRUE
    steps[[i]]$args[[2]][i+1] = TRUE
}
fig <- fig %>% layout(sliders=list(list(active=0, currentvalue=list(prefix="df: "), steps=steps)), legend=list(x=0.8, y=0.8))
fig

11.4. Corolario del Teo Fisher-Cochran

Cuando \(\sigma\) es desconocida, utilizamos un corolario del Teo Fisher-Cochran!

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) entonces se cumple:

\[ \frac{\bar{X} - \mu}{\frac{S}{\sqrt{n}}} \sim t_{n-1}\]

donde \(S\) es la desviación estándar muestral:

\[S = \sqrt{ \frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2 }\]

11.5. Grados de Libertad (df)

¿Qué es? Los grados de libertad se refieren al número de valores que pueden variar libremente en una muestra que se utiliza para estimar las características de una población, dado un número de parámetros estimados antes (o conjunto de restricciones matemáticas).

• Usualmente, se encuentran mediante la fórmula \(n-k\), donde \(n\) es el número de observaciones en la muestra y \(r\) es el número de parámetros estimados antes.

• Por ejemplo, para estimar la varianza de una población, primero se estidma la media de la población. Por lo tanto, si estimamos la varianza de la población con \(n\) observaciones, esta estimación (o la varianza muestral) tiene \(n-1\) grados de libertad. Asi, en un t-test de una muestra, un grado de libertad se utiliza en estimar la media y los \(n-1\) restantes en estimar la variabilidad.

¿Para qué sirve? Es una medida de cuánta información contiene su prueba (test).

11.6. Repaso: Teo de Fisher-Cochran y su corolario

Hemos visto que si \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\):

1. Cuando \(\sigma\) es conocida (Teo de Fisher-Cochran, primera propiedad):

\[ \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \sim \cal N(0, 1)\]

2. Cuando \(\sigma\) es desconocida (Corolario del Teo Fisher-Cochran):

\[ \frac{\bar{X} - \mu}{\frac{S}{\sqrt{n}}} \sim t_{n-1}\]

¿Qué pasa si la v.a. \(X\) no tiene una distribución normal, incluso el caso de v.a. discreta?

11.7. Teorema del Límite Central

Veamos la última sección Teoremas Asintóticos del primer capítulo de este libro Elementos de Teoría de Probabilidades!

En resumen: Sean \(X_1,...X_n\) v.a. i.i.d. de media \(\mu\) y varianza \(\sigma^2\):

1. Cuando \(\sigma\) es conocida (Teorema del Límite Central):

\[\begin{split}\begin{array}{c} \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \overset{d}{\to} {\cal N}(0,1)\\ (\frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \text{ converge en distribución a } {\cal N}(0,1) \text{ cuando } n \to \infty) \end{array}\end{split}\]

2. Cuando \(\sigma\) es desconocida (Teorema de Slutsky):

\[\begin{split} \begin{array}{c} \frac{\bar{X} - \mu}{\frac{S}{\sqrt{n}}} \overset{d}{\to} {\cal N}(0,1)\\ (\frac{\bar{X} - \mu}{\frac{S}{\sqrt{n}}} \text{ converge en distribución a } {\cal N}(0,1) \text{ cuando } n \to \infty) \end{array}\end{split}\]

¿Cuál es la diferencia con teo de Fisher-Cochran y su corolario?

11.8. Percentiles de distribución

El percentil indica el valor de la variable por debajo del cual se encuentra un porcentaje dado de observaciones ordenadas de menor a mayor.

• Por ejemplo, el percentil 95 es el valor bajo el cual se encuentran el 95% de las observaciones, y el 5% restante son mayores.

(1) En caso de la distribución normal estándar, sea \(z_{\alpha}\) tal que \(P(Z > z_{\alpha}) = \alpha\), entonces \(z_{\alpha}\) es el percentil \(100(1-\alpha)\) de \(Z\) (\(\alpha \in [0, 1]\)).

Sea \(z_{\frac{\alpha}{2}}\) tal que \(P(Z > z_{\frac{\alpha}{2}}) = \frac{\alpha}{2}\), entonces \(z_{\frac{\alpha}{2}}\) es el percentil \(100(1-\frac{\alpha}{2})\) de \(Z\). Además, \(P(|Z| > z_{\frac{\alpha}{2}}) = \alpha\).

¿Cómo completar las siguientes expresiones utilizando percentiles?

\[P(Z \leq ? ) = 0.975\]

\[P(Z \geq ? ) = 0.975\]

\[P(? \leq Z \leq ?) = 0.95\]

\[P(? \leq Z \leq ?) = 1-\alpha\]

¿Cómo encontramos \(z_{0.025}\) con R?

qnorm(0.975)

En R, si utilizas help(qnorm), puedes ver una familia de funciones, y qnorm es una función cuantil (quantile function). Percentiles son casos especiales de cuantiles.

qnorm(0.975) te da el valor bajo el cual se encuentran el 97.5% de las observaciones, o una probabilidad de 0.975.

(2) En caso de la distribución de t, sea \(t_{\alpha,n}\) tal que \(P(T_{n} > t_{\alpha,n}) = \alpha\), entonces \(t_{\alpha,n}\) es el percentil \(100(1-\alpha)\) de \(T_{n}\).

Normalmente, utilizamos \(t_{\frac{\alpha}{2},n-1}\) en prueba de hipótesis. Veamos esto! Sea \(t_{\frac{\alpha}{2},n-1}\) tal que \(P(T_{n-1} > t_{\frac{\alpha}{2},n-1}) = \frac{\alpha}{2}\), entonces \(t_{\frac{\alpha}{2},n-1}\) es el percentil \(100(1-\frac{\alpha}{2})\) de \(T_{n-1}\).

¿Cómo completar las siguientes expresiones utilizando percentiles?

\[P(T_{n-1} \leq ? ) = 0.975\]

\[P(T_{n-1} \geq ? ) = 0.975\]

\[P(? \leq T_{n-1} \leq ?) = 0.95\]

\[P(? \leq T_{n-1} \leq ?) = 1-\alpha\]

¿Cómo encontramos \(t_{0.025, 30}\) con R?

qt(0.975, df=30)

En R, si utilizas help(qt), puedes ver una familia de funciones, y qt es una función cuantil (quantile function). Percentiles son casos especiales de cuantiles.

qt(0.975, df=30) te da el valor bajo el cual se encuentran el 97.5% de las observaciones, o una probabilidad de 0.975, con df=30.

11.9. Estimación de Intervalos de confianza

Objetivo

Obtener un intervalo con una cierta confianza de que el parámetro poblacional se encuentra ahí. Transitar de la estimación puntual al intervalo de confianza, nos permite ganar en precisión de la estimación al mismo tiempo que incorporamos un cierto nivel de confianza.

11.9.1. Definición

Un intervalo de confianza \((a, b)\) atrapa/contiene \(\theta\) (parámetro poblacional) con cierta probabilidad.

En concreto, un intervalo de confianza del \(100(1-\alpha)\)% para un parámetro \(\theta\) es un intervalo \(C_n=(a,b)\) con

\[a= a(X_1,\cdots,X_n) \qquad\text{ y } \qquad b= b(X_1,\cdots,X_n) \]

funciones de los datos tales que:

\[P_{\theta}(\theta \in C_n) = P_{\theta}(a < \theta < b) = 1-\alpha \qquad \forall \theta \in \Theta\]

donde

• \((1-\alpha)\) se denomina coeficiente de confianza, grado de confianza o cobertura (coverage) del intervalo de confianza

• \(a, b\) se denominan límites de confianza inferior y superior

Nota

\(C_n\) es aleatorio pero \(\theta\) es fijo (no es una v.a.). Un intervalo de confianza no es una afirmación de probabilidad (probability statement) sobre \(\theta\).

Ejemplo

Suponga que el tiempo de llegada al trabajo de las personas que viven en Valdivia sigue una distribución Normal de media \(\mu\) y varianaza \(\sigma^2\). Considere que se tiene una muestra aleatoria de 45 personas que trabajan en Valdiva, cuyo tiempo promedio de llegada al trabajo es de 21 minutos con desviación estandar muestral de 9 minutos.

Al calcular un intervalo de confianza al 95% (mas adelante aprenderemos como hacerlo) para la media de la muestra, usando la distribución t, se obtiene \((18.3, 23.7)\).

Interpretaciones erróneas de los Intervalos de Confianza

(i) Al \(95\%\) de los 45 trabajadores les toma entre 18.3 y 23.7 minutos llegar al trabajo.

Falso. El intervalo de confianza concierne a todos los trabajadores, no sólo a los 45 de la muestra.

(ii) Hay un \(95\%\) de posibilidades de que el tiempo medio que les tome llegar a su trabajo a todos los trabajadores de Valdivia, esté entre 18.3 y 23.7 minutos.

Falso. Asi descrita, parece una afirmación de probabilidad de \(\theta\) (el parámetro poblacional) pero \(\theta\) es fijo en el contexto de intervalo de confianza.

Interpretaciones correctas de los Intervalos de Confianza

(i) Tenemos una confianza del \(95\%\) de que la media teórica de la distribución (o la media poblacional) se encuentra entre 18.3 y 23.7 minutos.

(ii) El intervalo (18.3, 23.7) atrapa/contiene la media poblacional con la probabilidad 0.95.

(iii) Si se extrajeran múltiples muestras aleatorias de la misma población y se calcularan los intervalos de confianza al \(95\%\) para cada muestra, esperamos que la media de la población se encuentre en el \(95\%\) de esos intervalos, o que el \(95\%\) de los intervalos contenga la media teórica.

11.9.2. ¿Cómo calcular un Intervalo de Confianza?

Clave

Obtener la distribución de probabilidad del estimador puntual

Foco en esta sesión:

Poblaciones distribuidas normalmente para estimar intervalos de confianza de la media (caso 1 y 2) o la diferencia de medias con varianzas conocidas (caso 3). En la tarea, veamos el caso de la diferencia de medias con la varianza desconocida.

11.9.3. Caso 1: Media de distribución Normal con varianza conocida

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) entonces,

\[ Z = \frac{ \bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1)\]

¿Por qué?

Teo de Fisher-Cochran la primera propiedad.

Queremos calcular \(a\) y \(b\) que cumplan lo siguiente (asumimos \(\alpha\)=0.05):

\[P(a < \theta < b) = 1 - \alpha = 1 - 0.05 = 0.95\]

¿Cuál es nuestro \(\theta\) aquí?

\(\mu\), la media problacional.

¿Cómo podemos ultilizar \(Z = \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1)\)?

Queremos tener una ecuación así:

\[P(? \leq Z \leq ?) = 0.95\]

Podemos utilizar percentiles:

\[P(-z_{0.025} \leq Z \leq z_{0.025}) = 0.95\]

Podemos reemplazar Z por \(\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\):

\[P(-z_{0.025} \leq \frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} \leq z_{0.025}) = 0.95\]

¿Cómo tranforma la expresión arriba para tener la forma \(P(a < \mu < b)\) = 0.95?

Con la transformación, al final, llegamos

\[P(\bar{x} - z_{0.025}\frac{\sigma}{\sqrt{n}} \leq \mu \leq \bar{x} + z_{0.025}\frac{\sigma}{\sqrt{n}}) = 0.95\]

¿Cómo se escribe el intervalo de confianza 95% para \(\mu\)?

\[\left(\bar{x} - z_{0.025}\frac{\sigma}{\sqrt{n}}, \bar{x} + z_{0.025}\frac{\sigma}{\sqrt{n}}\right )\]

Generalmente, el intervalo de confianza del \(100(1-\alpha)\%\) para \(\mu\) en este caso es:

\[\left(\bar{x} - z_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}, \bar{x} + z_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}\right )\]

Ejemplo de señal: Suponga que cuando una señal de valor \(\mu\) es transmitida desde una ubicación A, el valor que se recibe en la localización B sigue una distribución normal de media \(\mu\) y varianza 2. Considere que para reducir el error, se ha enviado nueve veces el mismo valor. Los sucesivos valores recibidos son: \(5, 8.5, 12, 15, 7, 9, 7.5, 6.5, 10.5\). Construya un intervalo de confianza al \(95\%\) para \(\mu\).

datos <- c(5, 8.5, 12, 15, 7, 9, 7.5, 6.5, 10.5)
media <- mean(datos)
varianza <- 2
sigma <- sqrt(varianza)
n <- 9
alpha <- 0.05
percentil <- qnorm(1 - alpha / 2) # qnorm(1-0.05/2)=qnorm(0.975)
rango1 <- media - percentil * sigma / sqrt(n) 
rango2 <- media + percentil * sigma / sqrt(n)
print(c(media, sigma, rango1, rango2))

[1] 9.000000 1.414214 8.076064 9.923936

11.9.4. Caso 2: Media de distribución Normal con varianza desconocida

(Tenemos un proceso más guiado en el Caso 1 antes)

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\it N}(\mu,\sigma^2)\) pero \(\sigma\) es desconocida. Entonces:

\[ T_{n-1} = \frac{(\bar{X} - \mu)}{\frac{S}{\sqrt{n}}} \sim t_{n-1}\]

¿Por qué?

Corolario del Teo Fisher-Cochran.

Queremos calcular \(a\) y \(b\) que cumplan lo siguiente:

\[P(a < \mu < b) = 1 - \alpha\]

¿Cómo podemos ultilizar la distribución de \(T_{n-1}\) arriba para completar:

\[P(? \leq T_{n-1} \leq ?) = 1 - \alpha\]

Sea \(t_{\frac{\alpha}{2},n-1}\) tal que

\[P(-t_{\frac{\alpha}{2},n-1}\leq T_{n-1} \leq t_{\frac{\alpha}{2},n-1}) = 1-\alpha\]

¿Cómo tranforma la expresión arriba para tener la forma \(P(a < \mu < b)\) = 1 - \(\alpha\)?

Al final se define el intervalo de confianza del \(100(1-\alpha)\%\) para \(\mu\) como:

\[\left(\bar{x} - t_{\frac{\alpha}{2},n-1}\frac{S}{\sqrt{n}}, \bar{x} + t_{\frac{\alpha}{2},n-1}\frac{S}{\sqrt{n}}\right )\]

11.9.4.1. El supuesto de normalidad

Notar que los intervalos de confianza para media muestral aquí construidos, se pueden generalizar para el caso de muestras aleatorias que provienen de otras distribuciones distintas a la normal.

Para \(n\) suficientemente grande (\(n \geq 30\)), del Teo del Límite Central se tiene que

\[ \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}} \approx {\cal N}(0,1)\]

y mas aún, del Teorema de Slutsky se tiene:

\[ \frac{\bar{X} - \mu}{\frac{S}{\sqrt{n}}} \approx {\cal N}(0,1)\]

y podemos usar estos dos teoremas para derivar los intervalos de confianza, que tienen las mismas expresiones que se mostraron antes.

11.9.5. Caso 3: Diferencia de medias de dos distribuciones Normales con varianzas conocidas

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu_1,\sigma_1^2)\) y \(Y_1,\cdots,Y_m\) v.a. i.i.d. \({\cal N}(\mu_2,\sigma_2^2)\). Suponga además que ambas muestras aleatorias son independientes.

En lo que sigue construiremos un intervalo de confianza para la diferencia de medias \(\mu_1-\mu_2\). Puedes derivar este intervalo de confianza?

1) ¿Qué distribuciones tienen \(\bar X\), \(\bar Y\)? (Pista: Teo de Fisher-Cochran)

Del Teo de Fisher-Cochran se cumple:

\[ \bar{X} \sim {\cal N}(\mu_1,\frac{\sigma_1^2}{n})\]

\[ \bar{Y} \sim {\cal N}(\mu_2,\frac{\sigma_2^2}{m})\]

2) ¿Cómo distribuye \(\bar X - \bar Y\)? (Pista: Teo Fundamental Distribuciones Normales mencionado en la subsección arriba “Teo de Fisher-Cochran” dentro de la caja de “Nota”)

Como \(\bar{X}\) es independiente de \(\bar{Y}\), ambas distribuidas normales, entonces

\[ \bar{X}- \bar{Y} \sim {\cal N}(\mu_1 - \mu_2,\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m})\]

3) ¿Cómo convierte la parte izquierda para tener una distribución normal estándar?

\[Z = \frac{\bar{X}- \bar{Y} - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}} \sim {\cal N}(0,1)\]

4) ¿Cómo deriva el intervalo de confianza del \(100(1-\alpha)\%\)?

Sea \(z_{\frac{\alpha}{2}}\) tal que

\[P(-z_{\frac{\alpha}{2}}\leq Z \leq z_{\frac{\alpha}{2}}) = 1-\alpha\]

Entonces se define el intervalo de confianza del \(100(1-\alpha)\%\) para \(\mu_1 - \mu_2\) como:

\[\left(\bar{x}-\bar{y} - z_{\frac{\alpha}{2}}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}, \bar{x}-\bar{y} + z_{\frac{\alpha}{2}}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}\right )\]

11.10. Test (Prueba) de Hipótesis

En este caso se trata de utilizar una muestra aleatoria de la población para probar una hipótesis particular sobre los parámetros (en lugar de estimar explícitamente parámetros desconocidos de una distribución poblacional).

11.10.1. ¿Qué es una hipótesis estadística?

Es una afirmación acerca de un parámetro poblacional.

La hipótesis nula \(H_0\) y la alternativa \(H_1\) son mutuamente exclusivas, pueden o no ser complementarias, de uno o dos lados.

Ejemplo:

\[H_0: \mu = \mu_0\]

\[H_1: \mu \neq \mu_0\]

Un test de hipótesis es una regla que especifica: para qué valores muestrales no se rechaza la hipótesis nula \(H_0\), y para qué valores muestrales se rechaza la hipótesis nula \(H_0\) en favor de \(H_1\). El subconjunto \(C\) del espacio muestral en donde se rechaza la hipótesis nula se denomina “región de rechazo” o “región crítica”, y su complemento la “región de aceptación”.

Se trata de desarrollar un procedimiento para determinar si una muestra de datos es consistente con la hipotésis nula o no. Para ello se utiliza un estadístico (una función de la muestra) y se observa un valor de este estadístico.

11.10.2. Tipos de Errores, nivel de significancia y potencia

• \(\alpha\) es la probabilidad de cometer un error tipo I, también se denomina nivel de significancia del test

• \(\beta\) es la probabilidad de cometer un error de tipo II

• \((1-\beta)\) se denomina potencia del test (prueba), que es la probabilidad de rechazar \(H_0\) dado que una alternativa específica (\(H_1\)) es verdadera

Ambos errores deben ser considerados. Comenzaremos por manejar el error de tipo I.

En esta lección, veamos test de media de una distribución Normal con varianza conocida con enfoque del valor crítico (caso 1) y enfoque del p-value. Después, veamos el caso con varianza desconocida (caso 3). En la tarea, veamos test de las medias de dos distribuciones normales, y test de la media de las diferencias de dos distribuciones normales pareadas.

11.10.3. Caso 1: Test de media de una dist. Normal con varianza conocida: Enfoque del p-value

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) con media desconocida \(\mu\) y varianza conocida \(\sigma^2\), y consideremos el test:

\[H_0: \mu = \mu_0\]

\[H_1: \mu \neq \mu_0\]

con \(\mu_0\) un valor específico dado.

¿Cómo podemos demostrar si \(H_0\) es verdadera o falso?

1) \(H_0\) es sobre la media poblacional, ¿podríamos utilizar la media muestral? ¿Cómo?

Si la media muestral \(\bar x\) está suficientemente lejos de \(\mu_0\) (asumiendo \(H_0\) es verdadera), rechazaremos \(H_0\).

2) ¿Cómo cuantificamos qué tan lejos está \(\bar x\) de \(\mu_0\)?

Utilizamos la distribución de \(\bar X\) bajo \(H_0\)! ¿Cómo se escribe su distribución bajo \(H_0\)?

\[ \bar{X} \sim {\cal N}(\mu_0, \frac{\sigma^2}{n}) \;\; \text{ (por Teo de Fisher-Cochran)}\]

Ojo: utilizamos \(\mu_0\) no \(\mu\) aquí porque asumimos \(H_0\) es verdadera.

3) ¿Cómo construimos un estadístico sobre \(\bar X\) que tenga una distribución normal estándar?

Bajo \(H_0\) se cumple:

\[ Z = \frac{\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1) \;\;\text{ (por Teo de Fisher-Cochran)}\]

Repasamos 2) ¿Cómo cuantificamos qué tan lejos está la media muestral \(\bar x\) de \(\mu_0\)?

Calculamos el estadístico de una muestra dada:

\[ z = \frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \]

Veamos qué tan posible es que tengamos este valor del estadístico bajo \(H_0\). ¿Cómo expresa esta probabilidad?

4) ¿Cuál es el valor de \(P(Z=z)\)? (Pista: Z es una v.a. continua) ¿Cómo abordamos esto?

Veamos la probabilidad de un area (o un rango) en lugar de un valor especifico. Aquí nació la idea de p-value!

El p-value es la probabilidad de observar un valor del estadístico del test igual o más extremo que el observado, asumiendo que \(H_0\) es verdadera. Aquí “un valor del estadístico” es la media muestral \(\bar{x}\) calculado por una muestra dada.

En la figura arriba, dibujamos la densidad de normal estándar. El valor 0 corresponde a \(\mu_0\), el valor asumido. ¿Por qué?

Porque esta distribución normal estándar es del estadístico (v.a.) \(Z=\frac{\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\), basado en la v.a. \(\bar{X}\). Cuando \(\bar{X}=\mu_0\), \(Z=0\).

5) ¿Cómo expresamos p-value en la forma \(P(Z \geq ? )\) (y \(P(Z \leq ? )\) ?

\[p = P_{H_0}(Z \leq -|z|) + P_{H_0}(Z \geq |z|) = 2 P_{H_0}(Z \geq |z|) = 2 P_{H_0}(Z \leq -|z|)\]

donde |z| se calcula a partir de z, el estadístico con valor concreto de una muestra dada.

6) ¿Cómo decidimos si el p-value es suficientemente pequeño?

Comparamos \(p\) con \(\alpha\), el nivel de significancia, o la probabilidad de cometer un error tipo I. Normalmente utilizamos valor \(\alpha=\)0.05 (también pueden utilizarse 0.1, 0.01, 0.001 para distintos niveles de signfiicancia según el campo).

Si \(p < \alpha\) se rechaza \(H_0\).

Si \(p \geq \alpha\) NO se rechaza \(H_0\).

El p-value es una medida de evidencia para rechazar \(H_0\): cuanto menor el p-value, mayor es la evidencia para rechazar \(H_0\).

Entre \(P(H_0)\), \(P(H_0 \mid data)\), \(P(data \mid H_0)\), ¿cuál corresponde mejor a un p-value?

El p-value no es la probabilidad de que la hipótesis nula sea verdadera \(P(H_0)\), ni \(P(H_0 \mid data)\). Podemos entender el p-value (informalmente) como \(P(data \mid H_0)\) dónde “data” significa los datos observados o más extremos que los observados. (Formalmente hablando, calculamos un estadístico de los datos, como media muestral).

Ejemplo: En el ejemplo arriba de señal:

Suponga que cuando una señal de valor \(\mu\) es transmitida desde una ubicación A, el valor que se recibe en la localización B sigue una distribución normal de media \(\mu\) y varianza 2. Considere que para reducir el error, se ha enviado nueve veces el mismo valor. Los sucesivos valores recibidos son: \(5, 8.5, 12, 15, 7, 9, 7.5, 6.5, 10.5\) (N=9). (\(\alpha\)=0.05)

1) Tenemos una hipótesis que la media poblacional es 8. ¿Puedes escribir \(H_0\) y \(H_1\) y utilizar p-value para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: Es necesario sustituir \(\mu_0\) por el valor concreto 8 al escribir \(H_0\) y \(H_1\). \(p\)=0.03 (o 0.0339). Se rechaza \(H_0\).

2) Tenemos una hipótesis que la media poblacional es 8.75. ¿Puedes escribir \(H_0\) y \(H_1\) y utilizar p-value para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: Es necesario sustituir \(\mu_0\) por el valor concreto 8.75 al escribir \(H_0\) y \(H_1\). \(p\)=0.60 (o 0.5959). No se rechaza \(H_0\).

(También puedes comprobar tus respuestas con z.test() de “BSDA” en R con “install.packages(“BSDA”)”)

11.10.4. Caso 2: Test de media de una dist. Normal con varianza conocida: Enfoque del valor crítico

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) con media desconocida \(\mu\) y varianza conocida \(\sigma^2\), y consideremos el test:

\[H_0: \mu = \mu_0\]

\[H_1: \mu \neq \mu_0\]

con \(\mu_0\) un valor específico dado.

Idea central: si \(\bar{x}\) está suficientemente lejos de \(\mu_0\), rechazaremos \(H_0\) y no la rechazamos en caso contrario.

Pero, ¿a qué distancia está lo suficientemente lejos?

1) Se define la región de rechazo:

\[C = \{X_1,\cdots X_n : |\bar{X} - \mu_0 | > c\}\]

2) ¿Cómo calcular \(c\)? ¿Cómo podemos utilizar el pensamiento probablistico?

Utilizamos:

\[P_{H_0}( |\bar{X} - \mu_0 | > c) = \alpha \;\;\; (\alpha \text{ es un valor pequeño y corresponde al nivel de significancia)} \]

¿Cómo entiende esto?

Si \(H_0\) es verdadera, queremos que la probabilidad de que \(\bar{x}\) esté lejos de \(\mu_0\) sea pequeño. Es decir, si \(H_0\) es verdadera queremos la probabilidad de que rechazemos \(H_0\) sea pequeño.

¿Qué tipo de error estamos controlando? (Tipo I)

3) ¿Qué necesitamos saber para determinar \(c\)? (Pista: si \(\mu_0\)=0, \(\alpha=0.05\), ¿qué necesitamos saber para determinar \(c\) en \(P_{H_0}( |\bar{X}| > c)\) = 0.05?)

Utilizamos la distribución de \(\bar X\) bajo \(H_0\)! ¿Cómo se escribe su distribución bajo \(H_0\)?

4) ¿Cómo construimos un estadístico sobre \(\bar X\) que tenga una distribución normal estándar?

Bajo \(H_0\) se cumple:

\[ Z = \frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1) \;\; \text{ (por Teo de Fisher-Cochran)}\]

donde \(\frac{\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\) es el estadístico de prueba.

Repasamos 2) Dado la distribución normal estándar de \(\bar X\), ¿cómo calcular \(c\) en la ecuación siguiente?

\[P_{H_0}( |\bar{X} - \mu_0 | > c) = \alpha \;\;\; (\alpha \text{ es un valor pequeño)} \]

Sea \(z_{\frac{\alpha}{2}}\) tal que

\[P(|Z| > z_{\frac{\alpha}{2}}) = \alpha\]

entonces

\[P_{H_0}\left(\left|\frac{\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| > z_{\frac{\alpha}{2}}\right) = \alpha\]

o equivalentemente

\[P_{H_0}\left(\left|\bar{X}-\mu_0\right| > z_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}} \right) = \alpha\]

donde \(c = z_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}\).

5) ¿Cuándo rechazamos \(H_0\)? ¿Cuándo no rechazamos \(H_0\)?

(Pista: \(\{X_1,\cdots X_n : |\bar{X} - \mu_0 | > c\}\) define la region de rechazo)

Entonces, se rechaza \(H_0\) si

\[\left|\bar{x}-\mu_0\right| > z_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}\]

o equivalentemente

\[\left|\frac{ \bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| > z_{\frac{\alpha}{2}}\]

donde \(\bar{x}\) es la media muestral con valor concreto dado una muestra. Y controlamos bien el error de tipo I. (¿por qué?)

NO se rechaza \(H_0\) si

\[\left|\bar{x}-\mu_0\right| \leq z_{\frac{\alpha}{2}} \frac{\sigma}{\sqrt{n}}\]

o equivalentemente

\[\left|\frac{ \bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| \leq z_{\frac{\alpha}{2}}\]

donde \(z_{\frac{\alpha}{2}}\) y -\(z_{\frac{\alpha}{2}}\) son valores críticos.

Ejemplo: En el ejemplo arriba de señal:

Suponga que cuando una señal de valor \(\mu\) es transmitida desde una ubicación A, el valor que se recibe en la localización B sigue una distribución normal de media \(\mu\) y varianza 2. Considere que para reducir el error, se ha enviado nueve veces el mismo valor. Los sucesivos valores recibidos son: \(5, 8.5, 12, 15, 7, 9, 7.5, 6.5, 10.5\) (N=9). (\(\alpha\)=0.05)

1) Tenemos una hipótesis que la media poblacional es 8. ¿Puedes escribir \(H_0\) y \(H_1\) y utilizar valor crítico para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: Es necesario sustituir \(\mu_0\) por el valor concreto 8 al escribir \(H_0\) y \(H_1\). El estadístico z=2.12. El valor crítico \(z_{\frac{\alpha}{2}}=1.96\) con qnorm(0.975) en R. Se rechaza \(H_0\).

2) Tenemos una hipótesis que la media poblacional es 8.75. ¿Puedes escribir \(H_0\) y \(H_1\) y utilizar valor crítico para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: Es necesario sustituir \(\mu_0\) por el valor concreto 8.75 al escribir \(H_0\) y \(H_1\). El estadístico z=0.53. El valor crítico \(z_{\frac{\alpha}{2}}=1.96\). No se rechaza \(H_0\).

(Puedes comprobar tus respuestas con z.test() de “BSDA” en R con install.packages(“BSDA”))

Relación entre p-value y valores críticos para el caso ya estudiado

11.10.5. Caso 3: Test de media de una dist. Normal con varianza desconocida (caso común, prueba t para muestra única)

(Tenemos un proceso más guiado en el Caso 1 y 2 antes)

Esta prueba (one-sample t-test) y su versión estrechamente relacionada, prueba t dependiente para muestras apareadas (paired t-test) se utilizan comúnmente en la investigación. Vamos a endenerlo por derivarlo!

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) con media y varianzas desconocidas \((\mu, \sigma^2)\), y consideremos el test:

\[H_0: \mu = \mu_0\]

\[H_1: \mu \neq \mu_0\]

con \(\mu_0\) un valor específico dado.

1) Enfoque del valor crítico:

En este caso tenemos el estadístico asociado al test

\[ T = \frac{\bar{X}-\mu_0}{\frac{S}{\sqrt{n}}} \sim t_{n-1} \;\;\text{(por qué?)}\]

con

\[ S^2= \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2\]

Sea \(t_{\frac{\alpha}{2},n-1}\) tal que

\[P_{H_0}( |T| > t_{\frac{\alpha}{2},n-1}) = \alpha\]

entonces

\[P_{H_0}(\left| \frac{\bar{X}-\mu_0}{\frac{S}{\sqrt{n}}} \right| > t_{\frac{\alpha}{2},n-1}) = \alpha\]

de manera que:

• Se rechaza \(H_0\) si \(|\frac{ \bar{x}-\mu_0}{\frac{s}{\sqrt{n}}}| > t_{\frac{\alpha}{2},n-1}\)

• No se rechaza \(H_0\) en caso contrario

2) Enfoque del p-value:

Definimos el estadístico de una muestra dada:

\[t = \frac{ \bar{x}-\mu_0}{\frac{s}{\sqrt{n}}} \]

Desde el enfoque del p-value:

\[p = 2 P_{H_0}( T \geq |t|) = 2 P_{H_0}( T \leq -|t|)\]

¿Cuándo rechazamos \(H_0\)? ¿Cuándo no rechazamos \(H_0\)?

• Si \(p < \alpha\) se rechaza \(H_0\)

• Si \(p \geq \alpha\) NO se rechaza \(H_0\)

Ejemplo:

Suponga que cuando una señal de valor \(\mu\) es transmitida desde una ubicación A, el valor que se recibe en la localización B sigue una distribución normal de media \(\mu\) y varianza desconocida. Considere que para reducir el error, se ha enviado nueve veces el mismo valor. Los sucesivos valores recibidos son: \(5, 8.5, 12, 15, 7, 9, 7.5, 6.5, 10.5\) (N=9). (\(\alpha\)=0.05)

Tenemos una hipótesis que la media poblacional es 8.

1) ¿Puedes escribir \(H_0\) y \(H_1\)?

\(H_0: \mu = 8\)

\(H_1: \mu \neq 8 \)

2) ¿Puedes utilizar p-value para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: \(p\)=0.36 (o 0.3589). No se rechaza \(H_0\).

3) ¿Puedes utilizar valor crítico para hacer una prueba de hípothesis?

Hay que demostrar el proceso. Pista corta: El estadístico \(t\)=0.97. El valor crítico \(t_{\frac{\alpha}{2},8}\)=2.31 con qt(0.975, 8) en R. No se rechaza \(H_0\).

(Puedes comprobar tus respuestas con t.test() en R)

11.10.6. Error de tipo II y potencia (Opcional)

El error de tipo II

Cómo medimos el error de no rechazar \(H_0\) cuando \(H_1\) es verdadera?

La dificultad que encontramos es que la especificación de \(H_1\) es bastante amplia:

\[H_1 : \mu \neq \mu_0\]

Asumiremos que la media poblacional es \(\mu \neq \mu_0\).

Para el caso que hemos estado estudiando: población normal con varianza conocida, podemos hacer la siguiente derivación:

\(\begin{array}{lll} \beta(\mu) & = & P_{H_1}\{\text{no rechazar } H_0\}\\ &&\\ & = & P_{H_1}\left\{\left|\frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| \leq z_{\frac{\alpha}{2}}\right \}\\ &&\\ & = & P_{H_1}\left\{ -z_{\frac{\alpha}{2}} \leq \frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\leq z_{\frac{\alpha}{2}}\right \}\\ &&\\ & = & P_{H_1}\left\{ -z_{\frac{\alpha}{2}}-\frac{\mu}{\frac{\sigma}{\sqrt{n}}} \leq \frac{ \bar{X}-\mu_0 - \mu}{\frac{\sigma}{\sqrt{n}}}\leq z_{\frac{\alpha}{2}} -\frac{\mu}{\frac{\sigma}{\sqrt{n}}}\right \} \;\;(\mu\text{ se presenta aquí)}\\ &&\\ & = & P_{H_1}\left\{ -z_{\frac{\alpha}{2}}-\frac{\mu}{\frac{\sigma}{\sqrt{n}}} \leq \frac{ \bar{X}- \mu}{\frac{\sigma}{\sqrt{n}}} - \frac{\mu_0}{\frac{\sigma}{\sqrt{n}}} \leq z_{\frac{\alpha}{2}} -\frac{\mu}{\frac{\sigma}{\sqrt{n}}}\right \} \;\;(H_1\text{ se utiliza aquí para introducir Z)}\\ &&\\ & = & P_{H_1}\left\{ -z_{\frac{\alpha}{2}}-\frac{\mu}{\frac{\sigma}{\sqrt{n}}} \leq Z - \frac{\mu_0}{\frac{\sigma}{\sqrt{n}}} \leq z_{\frac{\alpha}{2}} -\frac{\mu}{\frac{\sigma}{\sqrt{n}}}\right \}\\ &&\\ & = & P_{H_1}\left\{ \frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}-z_{\frac{\alpha}{2}} \leq Z \leq \frac{\mu_0 - \mu}{\frac{\sigma}{\sqrt{n}}}+ z_{\frac{\alpha}{2}} \right \}\\ &&\\ & = & \Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}+z_{\frac{\alpha}{2}}\right) - \Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}-z_{\frac{\alpha}{2}}\right) \end{array}\)

\(\beta(\mu)\) representa la probabilidad de error de tipo II y se denomina curva característica operacional (OC). Ahora veamos cómo esta probabilidad cambia cuando \(\mu\) cambia.

# suppressMessages(library(plotly))
mu0 <- 0
sigma_pob <- 5
n <- 25 #tamaño de la muestra
alpha <- 0.05
mus <- seq(0, 3, by=0.5)
n_mu <- length(mus)
vec_min <- -5 # tiene que ser menor que vc_conv_izq
vec_max <- 3 # tiene que ser mayor que vc_conv_der
legend_H0 <- "H0: mu = 0"
legend_H1 <- "H1: mu != 0"
title <- "\n Proba. de error de tipo II (beta) \nen funcion de la media poblacional (mu) \n(n=25, sigma=5)"
x_label <- '(xbar-mu)/(sigma/sqrt(n))'
y_max <- 0.6

# 1. Distribución bajo H1, convertido a normal estándar, con eje X es (X_bar - mu) / (sigma / sqrt(n))
vec <- seq(vec_min, vec_max, by=0.05)
pvec <- dnorm(vec)
fig <- plot_ly(width=600,height=400) %>% 
        layout(title=title, yaxis=list(range=c(0, y_max)), xaxis=list(range=c(vec_min, vec_max))) %>%
        add_lines(x=vec, y=pvec, line=list(color='blue'), visible=TRUE, showlegend=TRUE, name=legend_H1)
steps <- list()
for (i in 1:n_mu){
  mu <- mus[i]
  # 2. Distribución bajo H0, con eje X es (X_bar - mu) / (sigma / sqrt(n)). Cambia conforme mu cambia.
  # mu0 convertido a eje (X_bar - mu) / (sigma / sqrt(n))
  mu0_conv <- (mu0 - mu) / (sigma_pob / sqrt(n))
  fig <- add_lines(fig, x=vec, y=dnorm(vec, mean=mu0_conv), visible=ifelse(i==1, TRUE, FALSE), type='scatter', mode='lines', 
                    line=list(color='red'), showlegend=TRUE, name=legend_H0)
  # 3. El polygon amarillo del lado izquierdo de mu0
  # Valor crítico izquierdo convertido a eje (X_bar - mu) / (sigma / sqrt(n))
  vc_conv_izq <- (mu0 - mu) / (sigma_pob / sqrt(n)) - qnorm(1 - alpha / 2) #Z_alpha/2 
  vec_poly <- seq(vec_min, vc_conv_izq, by=0.01)
  fig <- add_polygons(fig, x=c(vec_min, vec_poly, vc_conv_izq), y=c(0, dnorm(vec_poly, mean=mu0_conv), 0), fill='tozeroy', #c(0,...0) is needed to enclose the polygon
                      fillcolor='rgba(255, 212, 96, 0.5)', line=list(color='rgba(255, 212, 96, 0.5)'), visible=ifelse(i==1, TRUE, FALSE), showlegend=FALSE)
  # 4. El polygon amarillo del lado derecho de mu0
  # Valor crítico derecho convertido a eje (X_bar - mu) / (sigma / sqrt(n))
  vc_conv_der <- (mu0 - mu) / (sigma_pob / sqrt(n)) + qnorm(1 - alpha / 2) #Z_alpha/2 
  vec_poly <- seq(vc_conv_der, vec_max, by=0.01)
  fig <- add_polygons(fig, x=c(vc_conv_der, vec_poly, vec_max), y=c(0, dnorm(vec_poly, mean=mu0_conv), 0), fill='tozeroy',
                      fillcolor='rgba(255, 212, 96, 0.5)', line=list(color='rgba(255, 212, 96, 0.5)'), visible=ifelse(i==1, TRUE, FALSE), showlegend=FALSE)
  # 5. El polygon azul (beta)
  vec_poly <- seq(vc_conv_izq, vc_conv_der, by=0.01)
  fig <- add_polygons(fig, x=c(vc_conv_izq, vec_poly, vc_conv_der), y=c(0, dnorm(vec_poly), 0), fill='tozeroy',
                       fillcolor='rgba(168, 216, 234, 0.5)', line=list(color='rgba(168, 216, 234, 0.5)'), visible=ifelse(i==1, TRUE, FALSE), showlegend=TRUE, name="beta")
  
  # Configura la visibilidad
  #   step$args[[2]]: Por ejemplo veamos los indices: 1  2,3,4,5(i=1)  6,7,8,9(i=2) ....  38,39,40,41(i=10)
  #   1: Figura 1 siempre se muestra en todas iteraciones de i
  #   Cuando i=1, figuras 2,3,4,5 son mostradas
  #   Cuando i=2, figuras 6,7,8,9 son mostradas
  step <- list(args=list('visible', rep(FALSE, 4*n_mu+1)), method='restyle', label=mu)
  step$args[[2]][1] = TRUE
  step$args[[2]][4*i-2] = TRUE
  step$args[[2]][4*i-1] = TRUE
  step$args[[2]][4*i] = TRUE
  step$args[[2]][4*i+1] = TRUE
  steps[[i]] = step  
}  
fig <- fig %>% layout(sliders=list(list(active=0, currentvalue=list(prefix="mu: "), steps=steps, y=-0.1, x=0)), legend=list(x=0.8, y=0.85), 
                      xaxis=list(title=x_label), yaxis=list(title='densidad de probabilidad')) #TeX("\\bar{X}-\\mu)/(\\sigma/sqrt(n))")
#fig <- fig %>% config(mathjax='cdn')
fig

También \(\beta\) cambia a medida que el tamaño de la muestra \(n\) cambia.

mu0 <- 0
sigma0 <- 6.0
alpha <- 0.05
perc <- qnorm(1 - alpha/2) #1.96
x_max <- 15
vec_mu <- seq(mu0, x_max + mu0 + 1, by=0.05)
params <- c(1, 5, 10, 15, seq(20, 50, by=10)) #tamaño
title <- "\n \n   Proba. de error de tipo II \nen funcion del tamano de la muestra\n(mu0=0, sigma=5)"
aval <- list()

for (i in 1:length(params)){
  x_d = sqrt(params[i])*(mu0-vec_mu)/sigma0 + perc
  x_i = sqrt(params[i])*(mu0-vec_mu)/sigma0 - perc     
  aval[[i]] <-list(visible =ifelse(i==1, TRUE, FALSE), y=pnorm(x_d)-pnorm(x_i))                    
}

steps <- list()
fig1 <- plot_ly(width=600, height=400) %>% layout(title=title, yaxis=list(title='Beta', range=c(0, 1)), xaxis=list(title='mu'))
for (i in 1:length(params)){
  fig1 <- add_lines(fig1, x=vec_mu, y=aval[[i]]$y, visible = aval[[i]]$visible,
                      type = 'scatter', mode = 'lines', line=list(color='blue'), showlegend=FALSE)
  step <- list(args=list('visible', rep(FALSE, length(aval))), method='restyle', label=params[i])
  step$args[[2]][i] = TRUE
  steps[[i]] = step 
}  
fig1 <- fig1 %>% layout(sliders=list(list(active=0, currentvalue=list(prefix="n: "), steps=steps, y=-0.1, x=0)))
fig1

Usualmente, diseñamos un experimento (por ejemplo, el tamaño de muestra) de manera que podamos controlar la probabilidad de error tipo II \(\beta\) que esté por bajo del 0.2 (20%).

Potencia

\(1 - \beta(\mu)\) se denomina función potencia o potencia estadística. Según

\( \beta(\mu) = \Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}+z_{\frac{\alpha}{2}}\right) - \Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}-z_{\frac{\alpha}{2}}\right) = \Phi\left (\frac{\sqrt{n}(\mu_0 -\mu)}{\sigma}+z_{\frac{\alpha}{2}}\right) - \Phi\left (\frac{\sqrt{n}(\mu_0 -\mu)}{\sigma}-z_{\frac{\alpha}{2}}\right) \)

y lo que mostramos en las figuras arriba, el error de tipo II depende de

• la diferencia ente \(\mu\) y \(\mu_0\)

• el tamaño de la muestra \(n\)

• la varianza conocida \(\sigma^2\)

• el nivel de significancia \(\alpha\)

• el tipo de test (de uno o dos lados)

¿Cómo incrementar la potencia estadística?

• Usualmente aumentamos el tamaño de la muestra

11.10.7. Test de un lado (Opcional)

¿En qué casos usar una test de un lado?

• si sabemos que los valores no pueden ser mayores (o menores) que \(\mu_0\)

• que interesa solamente el efecto en una dirección. Ejemplo, probar que un nuevo medicamento es mas efectivo que uno existente, dado que es mas barato.

Veamos el caso 2 en que la hipótesis alternativa indica que el valor de la media es mayor que \(\mu_0\):

Sean \(X_1,\cdots,X_n\) v.a. i.i.d. \({\cal N}(\mu,\sigma^2)\) con media desconocida \(\mu\) y varianza conocida \(\sigma^2\), y consideremos el test:

\[H_0: \mu = \mu_0\]

\[H_1: \mu > \mu_0\]

con \(\mu_0\) un valor específico dado.

Queremos controlar el error de tipo I, \(\alpha\). Es decir, si H0 es verdadera, queremos que la probabilidad de que \(\bar{x}\) esté mayor y lejos que \(\mu_0\) sea lo suficientemente pequeña, porque el test contrasta sólo respecto de valores a la derecha de la distribución:

\[P_{H_0}( \bar{X} - \mu_0 > c) = \alpha\]

Como bajo \(H_0\) se cumple:

\[ Z = \frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1)\]

Sea \(z_{\alpha}\) tal que

\[P_{H_0}(Z > z_{\alpha}) = \alpha\]

entonces

\[P\left(\frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}} > z_{\alpha}\right) = \alpha\]

de manera que:

• Se rechaza \(H_0\) si \(\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}} > z_{\alpha}\) (valor crítico)

• No se rechaza \(H_0\) si \(\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \leq z_{\alpha}\)

Desde el enfoque del p-value:

\[p = P_{H_0}( Z \geq \left|\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right|)\]

• Si \(p < \alpha\) se rechaza \(H_0\)

• Si \(p \ge \alpha\) NO se rechaza \(H_0\)

11.10.8. Robustez

• Una prueba (test) de hipótesis es robusta si aún produce resultados válidos (por ejemplo, mantiene la tasa de error de tipo I), incluso si se violan las suposiciones.

• Suposiciones: En esta lección, los estadísticos de test requieren provenir de una muestra aleatoria normal o una distribución t.

  • Los test que depende de \(Z\) y \(t\) son robustos respecto del alejamiento (departure) de normalidad** cuando:

    • El tamaño de la muestra es grande, o

    • En caso de muestras pequeñas, cuando el alejamiento de la normalidad no es grande

• Cuando la hipótesis de normalidad está muy lejos de cumplirse, se sugiere transformar los datos o usar test no-paramétricos como por ejemplo el test de Mann-Whitney U. Veamos en la próxima lección.

• También, veamos cómo evaluar la normalidad de una distribución en la próxima lección!